<?xml version="1.0" encoding="ISO-8859-1"?>
<metadatalist>
	<metadata ReferenceType="Thesis">
		<site>mtc-m21c.sid.inpe.br 806</site>
		<holdercode>{isadg {BR SPINPE} ibi 8JMKD3MGPCW/3DT298S}</holdercode>
		<identifier>8JMKD3MGP3W34R/428J8UE</identifier>
		<repository>sid.inpe.br/mtc-m21c/2020/03.30.16.14</repository>
		<lastupdate>2020:11.09.12.29.12 urlib.net/www/2017/11.22.19.04 simone</lastupdate>
		<metadatarepository>sid.inpe.br/mtc-m21c/2020/03.30.16.14.10</metadatarepository>
		<metadatalastupdate>2020:11.09.13.04.34 urlib.net/www/2017/11.22.19.04 simone {D 2020}</metadatalastupdate>
		<secondarykey>INPE-18302-TDI-2978</secondarykey>
		<citationkey>Velame:2020:ObDeCa</citationkey>
		<title>Object detection from captive balloon imagery using deep learning</title>
		<alternatetitle>Detecção de objetos em imagens de balão cativo utilizando deep learning</alternatetitle>
		<course>SER-SRE-SESPG-INPE-MCTIC-GOV-BR</course>
		<year>2020</year>
		<date>2020-04-02</date>
		<thesistype>Dissertação (Mestrado em Sensoriamento Remoto)</thesistype>
		<secondarytype>TDI</secondarytype>
		<numberofpages>99</numberofpages>
		<numberoffiles>1</numberoffiles>
		<size>40974 KiB</size>
		<author>Velame, Victória Maria Gomes,</author>
		<committee>Körting, Thales Sehn (presidente),</committee>
		<committee>Mura, José Claudio (orientador),</committee>
		<committee>Bins, Leonardo Sant'Anna (orientador),</committee>
		<committee>Sêcco, Ney Rafael,</committee>
		<e-mailaddress>velame.victoria@gmail.com</e-mailaddress>
		<university>Instituto Nacional de Pesquisas Espaciais (INPE)</university>
		<city>São José dos Campos</city>
		<transferableflag>1</transferableflag>
		<keywords>object detection, deep learning, convolutional neural network, remote sensing, captive balloons, detecção de objetos, aprendizado profundo, rede neural convolucional, sensoriamento semoto, balões cativos.</keywords>
		<abstract>The combination of remote sensing and computer vision technologies have been used to monitor large areas. In order to ensure their local security. This monitoring requires high temporal and spatial resolution sensors. Captive balloons with infrared and visible sensors, like Altave system, can perform a long-term day-night surveillance with viable cost in comparison with other aerial vehicles. Altave captive balloon system provides security of large areas by continuously monitoring people and vehicles, which is exhaustive for humans due to the large amount of data. To provide a more efficient and less arduous monitoring, this work developed a technology based on DL (Deep Learning), more specifically Faster R-CNN (Region-based Convolutional Neural Network - R-CNN), capable of detecting people and vehicles in images from captive balloons infrared and visible sensors. The advantage of CNN object detectors is their ability to generalize, which make them more efficient to deal with some captive balloon image features, such as objects on different points of view, positions and scales. This work used videos provided by Altave Company (from their captive balloon system) to manually build two databases containing about 700 images each, one for the infrared and the other for the visible data. Since training a large CNN from scratch requires a large database and high computational power, two networks were fine-tuned from a Faster R-CNN, pre-trained on RGB (red, green, blue) images. The accuracy, mAP and AR metrics reached on the test datasets indicates the network high performance. The accuracy was 87.1% for the infrared network and 86.1% for the visible. These high accuracies demonstrated that a Faster R-CNN pre-trained only in ordinary RGB images can be fine-tuned to work satisfactorily on 3-band RGB visible remote sensing images and even on 1-band infrared images, as long as they are properly converted for 3-band images by repeating the infrared band on the three channels. The networks satisfactorily detected people and vehicle on images from Altave captive balloon system. They could detect multiple objects in an image with a variety of angles, positions, types (for vehicles), scales, and even with some noise and overlap. They also presented some mistaken detections caused by splitting parts of one object into two objects or merging two objects from the same class in one large object. These types of mistakes are not a relevant problem for surveillance because it is much more important to detect the objects than to locate or count them. RESUMO: A combinação de tecnologias de sensoriamento remoto com visão computacional tem sido utilizada para monitorar grandes áreas, de modo a garantir a segurança local. Esse monitoramento requer sensores de alta resolução temporal e espacial. Os balões cativos com sensores visível e infravermelhos, como os da Altave, são capazes de realizar vigilância diurna e noturna a longo prazo, com custo viável comparado com outros veículos aéreos. O sistema de balões cativos da Altave fornece segurança para grandes áreas por meio do monitorando contínuo de pessoas e veículos, função que é exaustiva para seres humanos devido à grande quantidade de dados. Com o objetivo de proporcionar um monitoramento mais eficiente e menos árduo, neste trabalho foi desenvolvido uma tecnologia baseada em Aprendizado Profundo, mais especificamente Faster R-CNN (Region-based Convolutional Neural Network - R-CNN), capaz de detectar pessoas e veículos em imagens de sensores infravermelho e visível de balões cativos. A vantagem dos detectores de objetos baseados em CNN é sua capacidade de generalização, tornando-os mais eficientes para algumas características de imagem de balões cativos, como objetos em diferentes visadas, posições e escalas. Este trabalho utilizou os vídeos fornecidos pela empresa Altave (do sistema de balão cativo) para criar, manualmente, dois bancos de dados com cerca de 700 imagens, um para o infravermelho e a outro para o visível. Como o treinamento de uma CNN de grande complexidade desde o início requer um banco de dados grande e alto poder computacional, duas redes foram ajustadas a partir de uma rede Faster R-CNN pré-treinada em imagens RGB (vermelha, verde, azul). A acurácia, métricas mAP e AR alcançadas nos conjuntos de dados de teste comprovam o alto desempenho das redes treinadas. A acurácia do sistema foi de 87,1% para a rede infravermelha e de 86,1% para a óptica. Essas altas acurácias demonstraram que uma Faster R-CNN pré-treinada apenas em imagens RGB comuns, pode ser ajustada para funcionar satisfatoriamente em imagens de sensoriamento remoto visível RGB de 3-bandas e até mesmo em imagens infravermelhas de 1-banda, desde que sejam adequadamente convertidas para imagens 3-bandas através da repetição desta banda nos três canais. As redes construídas foram capazes de detectar satisfatoriamente pessoas e veículos em imagens do sistema de balões cativos da Altave, sendo capaz de detectar múltiplos objetos em vários ângulos, posições, tipos (no caso de veículos), escalas e até mesmo com algum ruído e sobreposição. Eles também apresentaram algumas detecções erradas causadas pela divisão de partes de um objeto em dois objetos ou pela fusão de dois objetos da mesma classe em um objeto maior. Esse tipo de erro não é relevante para o monitoramento com vigilância devido ao fato de ser mais importante detectar objetos do que localizá-los ou contá-los.</abstract>
		<area>SRE</area>
		<language>en</language>
		<targetfile>publicacao.pdf</targetfile>
		<usergroup>pubtc@inpe.br</usergroup>
		<usergroup>victoria.velame@inpe.br</usergroup>
		<visibility>shown</visibility>
		<copyright>urlib.net/www/2012/11.12.15.19</copyright>
		<rightsholder>originalauthor yes</rightsholder>
		<readpermission>allow from all</readpermission>
		<documentstage>not transferred</documentstage>
		<mirrorrepository>urlib.net/www/2017/11.22.19.04.03</mirrorrepository>
		<nexthigherunit>8JMKD3MGPCW/3F3NU5S</nexthigherunit>
		<hostcollection>urlib.net/www/2017/11.22.19.04</hostcollection>
		<agreement>agreement.html autorizacao.pdf .htaccess .htaccess2</agreement>
		<lasthostcollection>urlib.net/www/2017/11.22.19.04</lasthostcollection>
		<supervisor>Bins, Leonardo Sant'Anna,</supervisor>
		<supervisor>Mura, José Claudio,</supervisor>
		<url>http://mtc-m21c.sid.inpe.br/rep-/sid.inpe.br/mtc-m21c/2020/03.30.16.14</url>
	</metadata>
</metadatalist>